Nguyên khai, Canh Nậu ngày nay là một vùng đất gồm những gò đống không cao, phía dưới là những bãi trũng, lầy, cỏ dại lau lạch, các ngòi rãnh nước chằng chịt. Trải qua nhiều thế kỉ khai phá, người dân đã tạo nên những cách đồng, những khu ruộng bằng phẳng, lập thành làng. Canh Nậu xưa có tên Nôm gọi là kẻ Núc, sau đặt tên tự là Canh Nậu với nghĩa CANH (畊) là "cày", NẬU (耨) là "bừa", hàm ý chỉ làng quê lấy nghề nông làm gốc.

Trước Cách mạng tháng 8, Canh Nậu là một xã thuộc tổng Hương Ngải, huyện Thạch Thất. Sau Cách mạng tháng 8, Canh Nậu được sáp nhập với các xã trong tổng Hương Ngải cũ gọi là khu, sau đổi tên thành xã, mang tên Hương Ngải. Đầu tháng 4 năm 1948, làng Hương Ngải được tách ra thành một xã riêng; còn 3 làng Canh Nậu, Dị Nậu, Bến Thôn lập thành 1 xã mới mang tên Lam Sơn.

Tháng 5 năm 1955, Canh Nậu lại được tách ra một lần nữa, tách khỏi Lam Sơn thành lập một xã riêng trở về với cái tên ban đầu là xã Canh Nậu.